Đông Sơn là vùng đất cổ, nơi quần cư của người Việt cổ. Đây là một địa chỉ khảo cổ nổi tiếng loại nhất ở Việt Nam, nơi phát hiện ra nên văn hóa Đông Sơn của người Lạc Việt, là địa điểm tìm thấy số lượng trống đồng nhiều nhất Việt Nam nên các trống đồng được tìm thấy ở đây được gọi là trống đồng Đông Sơn.

Thời kì bắc thuộc: thời Tam Quốc - Lưỡng Tấn, Đông Sơn là miền đất thuộc huyện Tư Phố và một phần (phía nam) thuộc huyện Cư Phong. Thời Tuỳ - Ðường thuộc huyện Cửu Chân. Theo sách "Di Biên" của Cao Biền, thời bấy giờ vùng đất này được gọi là huyện Ðông Dương, sau đổi thành Ðông Cương.

Thời Ðinh, Tiền Lê, Lý giữ nguyên như thời Tuỳ - Ðường. Thời Trần đặt tên là huyện Ðông Sơn thuộc trấn Thanh Ðô, tên huyện Ðông Sơn có từ đây.

Thời thuộc Minh thuộc phủ Thanh Hoá. Thời Lê Quang Thuận, thuộc phủ Thiệu Thiên.

Đầu thời Nguyễn (đầu thế kỷ thứ XIX), vua Gia Long đổi phủ Thiệu Thiên thành phủ Thiệu Hoá. Huyện Ðông Sơn thuộc phủ Thiệu Hoá[3]. Huyện Ðông Sơn lúc này có 6 tổng với 145 xã, thôn, trang, vạn, gia, giáp, sở, phường, gồm địa bàn huyện Đông Sơn ngày nay, phần lớn thành phố Thanh Hoá ngày nay và 8 xã phía nam sông Chu thuộc huyện Thiệu Hoá ngày nay[4]. 8 xã thuộc huyện Thiệu Hoá nêu trên bao gồm: Thiệu Viên, Thiệu Lý, Thiệu Vận, Thiệu Trung, Thiệu Đô, Thiệu Châu, Thiệu Giao, Thiệu Tân.

Năm 1804, vua Gia Long ra chỉ dụ dời trấn thành Thanh Hóa từ làng Dương Xá (thuộc tổng Đại Bối, huyện Đông Sơn, nay thuộc phường Thiệu Dương, thành phố Thanh Hóa) về làng Thọ Hạc (thuộc tổng Thọ Hạc, huyện Đông Sơn, nay thuộc phường Đông Thọ, thành phố Thanh Hóa).

Ngày 22 tháng 7 năm 1889, theo đạo dụ của vua Thành Thái, 7 làng: Đức Thọ Vạn, Cẩm Bào Nội, Cốc Hạ, Phủ Cốc (thuộc Tổng Bố Đức); Thọ Hạc, Đông Phố, Nam Phố (thuộc tổng Thọ Hạc), đều thuộc huyện Đông Sơn được tách ra để thành lập thị xã Thanh Hóa.

Năm 1900, tách 2 tổng Vận Quy và Đại Bối (địa bàn 8 xã thuộc huyện Thiệu Hóa nêu trên, cùng với các xã Thiệu Dương, Thiệu Khánh, Thiệu Vân nay thuộc thành phố Thanh Hóa) ra khỏi huyện Đông Sơn, nhập vào huyện Thụy Nguyên[4].

Năm 1928, huyện được đổi thành phủ, bao gồm 7 tổng[5], với 115 làng và 5.794 dân đinh[3] là Thạch Khê, Kim Khê, Tuyên Hóa, Quảng Chiếu, Viễn Chiếu, Thọ Hạc và Bố Đức.

Sau Cách mạng Tháng Tám, chính quyền cách mạng chia 7 tổng cũ của thành 22 xã gồm Điện Bàn, Duy Tân, Hoàng Khê, Kim Khê, Đồng Pho, Đồng Minh, Tuyên Hóa, Cổ Bôn, Đại Đồng, Tràng An, Vạn Thắng, Quang Chiếu, Hưng Yên, Long Giang, Long Cương, Song Lĩnh, Vân Sơn, Nam Sơn Thọ, Đức Minh, Ái Sơn, Hương Bào, Bố Vệ.

Năm 1948, các đơn vị hành chính của cấp xã thuộc huyện Đông Sơn được tổ chức lại từ 22 xã xuống còn 13 xã đặt tên theo tên huyện, gồm Đông Ninh, Đông Khê, Đông Hòa, Đông Yên, Đông Lĩnh, Đông Tiến, Đông Anh, Đông Phú, Đông Quang, Đông Hưng, Đông Thọ, Đông Vệ, Đông Hương.

Cuối năm 1954, huyện lại được chia thành 24 xã[3], gồm: Đông Anh, Đông Cương, Đông Giang, Đông Hải, Đông Hòa, Đông Hoàng, Đông Hưng, Đông Hương, Đông Khê, Đông Lĩnh, Đông Minh, Đông Nam, Đông Ninh, Đông Phú, Đông Quang, Đông Tân, Đông Thanh, Đông Thịnh, Đông Tiến, Đông Văn, Đông Vệ, Đông Vinh, Đông Xuân, Đông Yên.

Ngày 16 tháng 3 năm 1963, xã Đông Giang (gồm 3 làng Nghĩa Phương, Đông Sơn và Nam Ngạn) thuộc huyện Đông Sơn cùng với xóm Núi xã Hoằng Long, huyện Hoằng Hóa sáp nhập vào thị xã Thanh Hóa. Nay thuộc địa bàn các phường Hàm Rồng, Nam Ngạn và Trường Thi, thành phố Thanh Hóa.

Ngày 28 tháng 8 năm 1971, 3 xã: Đông Vệ, Đông Hương, Đông Hải được sáp nhập vào thị xã Thanh Hóa.

Ngày 5 tháng 7 năm 1977, Hội đồng Chính phủ đã ra Quyết định số 177/CP trong đó sáp nhập 16 xã của huyện Thiệu Hóa ở hữu ngạn sông Chu, thành lập huyện Đông Thiệu (phần còn lại của huyện Thiệu Hoá sáp nhập với huyện Yên Định, thành lập huyện Thiệu Yên). Huyện Đông Thiệu có 36 xã: Đông Anh, Đông Cương, Đông Hòa, Đông Hoàng, Đông Hưng, Đông Khê, Đông Lĩnh, Đông Minh, Đông Nam, Đông Ninh, Đông Phú, Đông Quang, Đông Tân, Đông Thanh, Đông Thịnh, Đông Tiến, Đông Văn, Đông Vinh, Đông Xuân, Đông Yên, Thiệu Châu, Thiệu Chính, Thiệu Đô, Thiệu Dương, Thiệu Giao, Thiệu Hòa, Thiệu Khánh, Thiệu Lý, Thiệu Minh, Thiệu Tâm, Thiệu Tân, Thiệu Toán, Thiệu Trung, Thiệu Vân, Thiệu Vận, Thiệu Viên.

Ngày 30 tháng 8 năm 1982, theo Quyết định số 149/QĐ-HĐBT của Hội đồng Bộ trưởng, huyện Đông Thiệu đổi lại là huyện Đông Sơn.

Ngày 28 tháng 1 năm 1992, thành lập thị trấn Rừng Thông trên cơ sở một phần diện tích và dân số của các xã Đông Lĩnh, Đông Tiến, Đông Xuân, Đông Tân.

Ngày 6 tháng 12 năm 1995, xã Đông Cương sáp nhập vào thành phố Thanh Hóa.

Ngày 18 tháng 11 năm 1996, tách 16 xã ở hữu ngạn sông Chu để tái lập huyện Thiệu Hóa theo Nghị định số 72/CP của Chính phủ.

Ngày 21 tháng 4 năm 2006, thành lập thị trấn Nhồi trên cơ sở một phần diện tích và dân số của các xã Đông Hưng và Đông Tân.

Ngày 29 tháng 2 năm 2012, chuyển thị trấn Nhồi và 4 xã: Đông Lĩnh, Đông Tân, Đông Hưng, Đông Vinh về thành phố Thanh Hóa quản lý.[7][8]

Ngày 15 tháng 5 năm 2015, sáp nhập toàn bộ diện tích, dân số của xã Đông Xuân và một phần diện tích, dân số của hai xã Đông Tiến, Đông Anh vào thị trấn Rừng Thông.[9]

Ngày 1 tháng 12 năm 2019, sáp nhập xã Đông Anh vào xã Đông Khê.[10]